# -*- coding: utf-8 -*-

BOT_NAME = 'house_spider'

SPIDER_MODULES = ['house_spider.spiders']
NEWSPIDER_MODULE = 'house_spider.spiders'

LOG_LEVEL = 'DEBUG'

# 遵守robot协议
ROBOTSTXT_OBEY = True

# 开启下载延迟 单位秒
DOWNLOAD_DELAY = 8

# 同步下载数量
CONCURRENT_REQUESTS = 8

# 使用自定义的随机ua中间件，增加反爬功能
DOWNLOADER_MIDDLEWARES = {
   'house_spider.middlewares.NewsSpiderDownloaderMiddleware': 543,
}

# 使用自定义的管道，用来清洗，过滤，保存数据
ITEM_PIPELINES = {
    'house_spider.pipelines.HouseSpiderPipeline': 300,
}

# 数据库配置
DATABASE_NAME = 'zhengzhou_house_data'

DATABASE_USER = 'root'

DATABASE_PASSWORD = 'mysql'

DATABASE_HOST = '127.0.0.1'

DATABASE_PORT = 3306

# 爬虫的休眠时间是一个随机数，由一个最小值和一个最大值控制。
# 最小值
SLEEP_SATRT = 1
# 最大值
SLEEP_STOP = 3


# # 使用redis数据库，引入数据去重机制，增加增量式爬虫功能
# DUPEFILTER_CLASS = "house_spider.utils.my_dupefilter.HouseDupeFilter"
# SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# SCHEDULER_PERSIST = True
# REDIS_URL = "redis://127.0.0.1:6379/2"
